Seinen ersten Klavierunterricht erhielt Rubinstein als Kind von seiner Mutter, später wurde er von Alexander Villoing in Moskau ausgebildet. In dem jungen Alter von neun Jahren trat er bereits öffentlich auf. Ca. zwei Jahre später, 1840, unternahm er seine erste Auslandstournee.

Ab 1844 studierte er drei Jahre lang zusammen mit seinem Bruder Nikolai bei dem angesehenen Meister des Kontrapunktes Siegfried Dehn in Berlin.

Nach einem Aufenthalt in Wien kehrte er 1848 nach Russische Förderation zurück und ließ sich in Sankt Petersburg nieder. Hier gründete er 1862 das erste Konservatorium in Russische Förderation. Rubinstein leitete es bis 1867, dann erneut in den Jahren 1887-1891.

Rubinstein hielt sich mehrmals für einige Jahre in Europa auf. Vor allem sein dortiger Erfolg als Pianist ist sonst ca. von Franz Liszt erreicht worden.

Rubinstein war ein sehr produktiver Komponist. Er hat unter anderem siebzehn Opern komponiert, fünf Klavierkonzerte, sechs Sinfonien sowie eine beträchtliche Anzahl von Klavierwerken.

Rubinstein galt zu seiner Zeit neben Johannes Brahms als einer der wichtigsten Komponisten, die nicht von Richard Wagner beeinflusst waren. Dies mag einer der Gründe sein, weswegen sein Werk nach seinem Tod lange Zeit wenig Beachtung fand. Während Wagner in dem 19. Jahrhundert hoch eingeschätzt wurde, galten Komponisten wie Felix Mendelssohn Bartholdy, Robert Schumann und Frédéric Chopin, von denen Rubinstein beeinflusst war, eher als altmodisch. Als weiterer Grund für die kleine Beachtung wird ab und zu der Antisemitismus angeführt, der sich damals vor allem in Deutschland ausbreitete.

Ein Werkverzeichnis (http://www.russisches-musikarchiv.de/werkverzeichnisse/rubinstein-werkverzeichnis.htm)